PreGress: Ranking-Native Pre-training and Prompting for Graph Node Ranking
PreGress:面向图节点排序的排序原生预训练与提示框架
🧭 图节点排序 · 预训练与提示微调 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · Huawei Technologies Co., Ltd.
首个排序原生的图预训练+提示微调框架,通过度中心性与属性重建预训练,配合任务特定提示,统一支持多种节点排序准则
📌 工作参考价值(4 点)
- 图构建与预训练复用:对用户-物品交互图,用度中心性作为自监督目标预训练节点表示,无需人工标注,训练一次后通过轻量提示适应不同排序准则(如 PageRank、子图计数),大幅降低下游任务训练成本。
- Ego 网络避免过平滑:抽取 k-hop ego 网络并采用子图 GNN 作为骨干,限制消息传递范围,有效避免深层堆叠带来的节点表示坍缩,适合需要精细区分的推荐排序场景。
- 提示模块设计:对无结构输入(如中心性预测)使用可学习向量;对有结构输入(如模式图匹配)使用轻量 GNN 生成提示,并通过 Soft CCA 正则对齐分布。可参照此思路在推荐系统里用提示注入多模态信息或业务规则。
- 排序导向的损失设计:预训练中结合 MSE 回归与 listwise KL 正则,显式建模排序一致性,比仅用点损失更符合 top-K 推荐目标,可直接移植到排序模型的预训练阶段。